Kejadian penting dalam Tuan Jim mungkin berlandaskan kejadian sebenar di mana kapal ditinggalkan. Pada 17 Julai 1880, S.S. Jeddah belayar dari Singapura menuju ke Pulau Pinang dan Jeddah, dengan 778 0rang lelaki, 147 wanita dan 67 kanak-kanak. Para penumpangnya Muslim dari negeri-negeri Tanah Melayu (Malaya) yang belayar ke Makkah untuk menunaikan ibadat Haji. Jeddah belayar di bawah bendera British dan anak kapal kebanyakannya terdiri daripada orang British. Selepas menempuh cuaca buruk, air mula memasuki Jeddah. Badan kapal mengalami kebocoran besar, air naik dengan mendadak, dan kapten dan para pegawainya meninggalkan kapal yang menyenget. Mereka diselamatkan oleh sebuah kapal lain dan dibawa ke Aden di mana mereka menceritakan hal para penumpang ganas dan kapal yang terumbang-ambing. Para jemaah haji ditinggalakan kepada nasib masing-masing dan, nampak gayanya, maut yang pasti. Namun, pada 8 Ogos 1880 sebuah kapal api Perancis menunda Jeddah ke Aden – para jemaah terselamat. Penyiasatan rasmi menyusul, seperti yang berlaku dalam novel.[2]

Bahagian kedua novel berdasarkan kehidupan James Brooke, Rajah Sarawak pertama.[3] Brooke seorang penekad Inggeris kelahiran India yang dalam tahun 1840-an berjaya merampas kuasa dan menubuhkan negeri merdeka di Sarawak, pulau Borneo (kini sebahagian daripada Malaysia). Beberapa pengkritik berpendapat bahawa Patusan rekaan itu bukan di Borneo tetapi di Sumatra.[4]